Walaupun Brunei pertama kali menyertai Olimpik Musim Panas pada Sukan Olimpik Musim Panas 1988 di Seoul, Korea Selatan, ia hanya diwakili oleh seorang pegawai.[1] Pada Sukan Olimpik Musim Panas 1996 di Atlanta, Amerika Syarikat, barulah negara itu menghantar atlet ke Sukan tersebut. Sejak itu, ia telah mengambil bahagian dalam empat Sukan Olimpik Musim Panas antara penampilan sulungnya dan Sukan Olimpik Musim Panas 2004.[2] Tiada atlet Brunei pernah memenangi pingat di Sukan Olimpik Musim Panas sebelum Sukan Athens 2004.[2]

Jawatankuasa Olimpik Kebangsaan Brunei (NOC) memilih seorang atlet melalui kad bebas. Biasanya, NOC boleh memasukkan sehingga tiga atlet yang layak dalam setiap acara individu selagi setiap atlet memenuhi piawaian "A", atau seorang atlet bagi setiap acara jika mereka memenuhi piawaian "B".[3] Walau bagaimanapun, memandangkan Brunei tidak mempunyai atlet yang memenuhi mana-mana piawaian, mereka dibenarkan memilih seorang atlet sebagai kad liar. Seorang atlet yang terpilih untuk bertanding dalam Sukan Athens ialah Jimmy Anak Ahar dalam acara 1500 meter lelaki.[4] Menghantar hanya seorang atlet ke Sukan Athens bermakna negara itu, bersama-sama dengan Kepualan Virgin British dan Liechtenstein, terkenal kerana menghantar bilangan atlet paling rendah ke Sukan Musim Panas 2004 (seorang).[5] Ahar adalah pembawa bendera untuk upacara pembukaan.[6] Dalam kalangan pegawai, pegawai sukan Sofian Ibrahim mewakili negara.[5]